Giao tranh chính thức bùng nổ ngày 7 tháng 7 năm 1937 giữa Trung Hoa và Nhật Bản với Sự biến Lư Câu Kiều bên ngoài Bắc Kinh. Ngày 4 tháng 8 năm 1937, Bạch tái tham gia Chính phủ trung ương theo lời mời của Tưởng Giới Thạch. Trong Chiến tranh Trung-Nhật lần thứ 2 (1937–1945), ông là Phó Tổng tham mưu trưởng phụ trách chiến dịch và huấn luyện. Ông là chiến lược gia chủ chốt đã thuyết phục Tưởng áp dụng chiến lược "Chiến tranh tổng lực", theo đó Trung Hoa sẽ đổi không gian lấy thời gian, đánh du kích sau lưng địch, và phá hoại hậu cần địch khi có cơ hội. Khi đội quân Nhật được trang bị và huấn luyện tốt hơn tiến lên, quân Trung Hoa sử dụng chiến thuật tiêu thổ trên đường tiến quân của địch để cắt nguồn cung cấp tại chỗ của họ. Bạch cũng tham gia vào nhiều chiến dịch quan trọng, bao gồm chiến thắng lớn đầu tiên tại Trận Đài Nhi Trang ở tỉnh Sơn Đông vào mùa xuân năm 1938 khi ông phối hợp với tướng Lý Tông Nhân đánh bại kẻ thù mạnh hơn. Trung Hoa cầm chân được quân Nhật trong vài tháng. Sau đó, Bạch được bổ nhiệm làm Tư lệnh Văn phòng hành quân trong Hội đồng Quân sự ở Quế Lâm, chỉ huy các quân khu 3, 4, 7, và 9. Trên cương vị đó, ông giám sát cuộc phòng thủ Trường Sa, thủ phủ tỉnh Hồ Nam, thành công. Từ năm 1939 - 1942, quân Nhật tấn công Trường Sa ba lần nhưng đều bị đẩy lùi. Bạch cũng chỉ huy Trận Nam Quảng Tây và Trận Côn Lôn Quan đánh chiếm lại Nam Quảng Tây.

Quân Quảng Tây của Bạch được xem là đội quân "chủ bài" trong chiến tranh chống Nhật, và Bạch được xem là viên tướng có khả năng lãnh đạo cuộc kháng cự của người Trung Hoa trong trường hợp Tưởng Giới Thạch bị ám sát.[10] Đa phần người Trung Hoa cho rằng Tưởng, lãnh tụ Trung Hoa, chọn Bạch để kế nhiệm ông ta.[11]

Vì từ chối tuân lệnh Tưởng nếu thấy rằng chúng không hợp lý, Bạch Sùng Hy bị cô lập trong hàng ngũ tướng lĩnh.[12]

Theo Bạch, jihad (thánh chiến) chống Nhật là nghĩa vụ tôn giáo với tất cả người Hồi giáo Trung Hoa sau năm 1937 trong Chiến tranh Trung-Nhật lần thứ 2.[13]

Bạch cũng bảo trợ việc ấn bản Yuehua Hồi giáo ở Quế Lâm, in những câu từ trong kinh Quran và Hadith giải thích vai trò lãnh tụ Trung Hoa của Tưởng Giới Thạch.[14]

Bạch đề câu chủ nghĩa quốc gia Trung Hoa và sự thống nhật Hồi-Hán trong chiến tranh chống Nhật.[15]

Trong chiến tranh, Bạch tới những tỉnh Tây Bắc Trung Hoa theo Hồi giáo thuộc quyền họ Mã và thuyết phục các tướng Mã hệ chống Nhật.[16][17][18]